Workshop Ciencia Abierta
3 de enero de 2024
Es la práctica de conducir estudios científicos o basados en datos de tal manera que permita a otros replicar o reproducir los resultados usando los mismos datos, códigos y metodologías.
Los autores entregan todos los datos necesarios y los códigos computacionales para realizar el análisis nuevamente, recreando los resultados.
Un estudio que llega a los mismos hallazgos científicos que otro estudio, recolectando nuevos datos (posiblemente con diferentes métodos) y completando nuevos análisis.
Reproducibilidad Computacional: Cuando se proporciona información detallada sobre el código, software, hardware y detalles de la implementación
Reproducibilidad Empírica: Cuando se proporciona información detallada sobre experimentos y observaciones científicas empíricas no computacionales. En la práctica, esto se ocurre al hacer que los datos y los detalles de cómo se recopilaron estén disponibles de forma gratuita.
Reproducibilidad Estadística: Cuando se proporciona información detallada, por ejemplo, sobre la elección de pruebas estadísticas, parámetros del modelo y valores de umbral. Esto se relaciona principalmente con el registro previo del diseño del estudio para evitar la práctica de p-value hacking y otras manipulaciones.
| Ventajas | Dificultades |
|---|---|
| Historial completo del proyecto | Incentivos limitados |
| Colaboración y Revisión | Sesgo de las investigaciones hacia hallazgos novedosos |
| Evita la desinformación | Mayores estándares |
| Escritura eficiente | Se aplican mayores estándares a las investigaciones reproducibles |
| Reconocimiento justo | No es considerado para las promociones |
| Asegura la continuidad del trabajo | Variabilidad en el rendimiento de los software utilizados |
| Que una investigación sea reproducible no significa que esté correcta | |
| Toma más tiempo |
Solo una proporción muy pequeña de los datos originales se publica en revistas convencionales o investigaciones públicas. A pesar de las políticas existentes sobre el archivo de datos, en la actualidad, los datos se almacenan principalmente en archivos privados, no en repositorios institucionales seguros, y se pierde a ellos por parte del público general.
Esta falta de intercambio de datos es un obstáculo para la investigación internacional (ya sea académica, gubernamental o comercial) por dos razones principales:
Generalmente es difícil o imposible reproducir un estudio sin los datos originales.
Los datos no pueden ser reutilizados o incorporados en nuevos trabajos por otros investigadores si no pueden acceder a ellos.
Cuando un proyecto es de código abierto, cualquiera puede ver, usar, modificar y distribuir el proyecto para cualquier propósito. Estos permisos se aplican a través de una licencia de código abierto
¿Cómo los software de código abierto benefician la investigación?
Re-usable
Comprobable
Colaborativo
https://posit.co/download/rstudio-desktop/
Existen otras alternativas más génericas como Visual Studio Code, un editor de código para múltiples lenguajes. Sin embargo, al no ser un software especializado en R, requiere utilizar extensiones para lograr las funcionalidad que otorga RStudio.
Los datos utilizados en los análisis no son estáticos
Los datos pueden mutar no sólo debido a que se ingresa nueva información
En muchas investigaciones se desea experimentar con diferentes versiones del mismo conjunto de datos
Controlar las versiones de conjuntos de datos o de archivos grandes ayuda a la reproducibilidad de un proyecto
La principal limitación que tiene Git es que conforme la cantidad y tamaño de los archivos en el proyecto crecen, se vuelve impracticable el control de versiones.
Entre las herramientas más usadas para el control de versiones para grandes archivos están:
El estándar para investigaciones reproducibles es que los datos cumplan con los principios FAIR
“The FAIR Guiding Principles for scientific data management and stewardship”
Cada computador es un ambiente computacional único que consiste de un sistema operativo, los softwares instalados, sus respectivas versiones entre otras características.
Supongamos que un proyecto de investigación se lleva a cabo en un computador pero luego se transfiere a un computador diferente. No habrá una garantía que el análisis podrá ser realizado o que generará los mismos resultados si estos dependen de algunas de las características mencionadas.
Para que una investigación sea reproducible, el ambiente computacional en el que se conduce debe poder ser replicado.
En términos generales, un ambiente computacional es un sistema donde un programa se ejecuta. Esto incluye las características de hardware y software
Replicar los ambientes computacionales tendrá un potencial impacto en:
Investigadores
Colaboradores
Los sistemas de administración de paquetes son herramientas usadas para instalar y mantener un seguimiento del software usado en un sistema. Los archivos utilizados pueden ser compartidos con otros para que repliquen el ambiente computacional.
Ejemplos:
Binder es un servicio que genera versiones funcionales de proyecto desde un repositorio git y los sube a la nube. Estos proyectos “binderizados” son accesibles desde un navegador de internet.
Binder requiere que el software (y óptimamente, sus versiones) necesario para ejecutar un proyecto sea especificado.
Las máquinas virtuales son computadores simulados. Un usuario puede crear un computador “virtual” fácilmente, especificando el sistema operativo que quieren tener, entre otras características, y ejecutarlo como cualquier otra aplicación.
Los contenedores proveen muchos de los beneficios de una máquina virtual, pues esencialmente actúan como máquinas independientes que contienen sus propios archivos, softwares y configuraciones.
La diferencia radica en que una máquina virtual incluye un sistema operativo junto con sus softwares, independientemente si el proyecto los utiliza. En cambio, los contenedores sólo incluyen el software y archivos explícitamente definidos para ejecutar un proyecto particular.
renv en el nuevo proyectorenv::init() para proyectos existentesrenv::snapshot() para capturar el ambienterenv::init() tendremos opciones para restaurar, descartar o activar el ambiente computacionalrenv::dependencies() nos entrega los paquetes de los cuales depende nuestro proyecto.install.R con los paquetes necesariosruntime.txt con la versión de R necesariaversion en la consola deREADME.md con la dirección del repositorio, por ejemplo:http://mybinder.org/v2/gh/binder-examples/r/master?urlpath=rstudio
cambia a
http://mybinder.org/v2/gh/ealvnrz/binder-r-test/master?urlpath=rstudio
YAML es un formato de serialización de datos que puede ser leído fácilmente. Su uso es amplio, desde Acciones en GitHub hasta Quarto
Un ejemplo de YAML que difine un ambiente computacional podría ser:
# Define the operating system as Linux
os: linux
# Use the xenial distribution of Linux
dist: xenial
# Use the programming language Python
language: python
# Use version of Python 3.2
python: 3.2
YAML nos será de particular interés para la creación de documentos y presentaciones reproducibles, utilizando quarto.
Generaremos un proyecto desde cero que tenga las siguientes características:
Ambos lenguajes nos permiten realizar investigaciones reproducibles.
RyPythonno son mutuamente excluyentes
El paquete reticulate nos permite ejecutar código Python en nuestros archivos R.
También es posible ejecutar código R en Python utilizando la libraría rpy2
En lo que resta del curso, asumiremos que se tiene un nivel básico de R; esto es, conocer los operadores básicos de R: funciones, operaciones matemáticas y objectos (vectores, escalares, etc.)
Para una introducción a R, ver Introducción a R del R Development Core Team
Cada objeto en R es de un tipo base y sólo R-core puede crear nuevos tipos
Existen 5 tipos de datos base:
double,integer,complex,logicalycharacter. Estos también pueden ser tipoNULL.
Sin importar la complejidad del análisis, en R todos los datos son interpretado como alguno de estos tipos base
Una característica distintiva de las matrices es que todos los valores son del mismo tipo de dato
Los vectores son matrices 1-dimensionales.
¿Qué producirá el siguiente código?:
Respuesta:
[1] "2" "6" "3"
En lo anterior, se realizó una coerción de tipo. No tener claridad de cómo funciona esto, es lo que usualmente dificulta programar correctamente un código en R.
La coerción ocurre cuando ingresamos datos de distinto tipo en un objeto que sólo permite que sus valores sean de un sólo tipo
Reglas de coerción:
logical -> integer -> numeric -> complex -> character
Leemos -> como “puede ser transformado en”
Las listas puede guardar objetos de cualquier tipo o clase
Las matrices y listas tienen un tipo base inmutable. En contraste, en R existen los objetos S3, S4 y S6; siendo S3 el más común.
Estos objetos tienen un atributo de clase, que permite que existan funcionalidad especificas para aquella clase. Esto es una característica principal de la programación orientada a objetos
Tidyverse es un sistema coherente de paquetes para manipulación, exploración y visualización de datos que comparten una filosofía de diseño común.
Ventajas: